FlashMask-3：高效掩码感知分布式注意力
🧭 训练系统 · 掩码感知注意力 ★ 深度解读
Baidu Inc.
将列式稀疏掩码扩展至 Hopper 分布式注意力，实现零通信掩码本地化与负载均衡的长上下文训练加速
📌 工作参考价值（4 点）
- 长序列行为建模或多文档检索中，采用列式稀疏掩码（column-wise sparse mask）编码 document/prefix-LM/sliding-window 等结构化 attention，用 O(N) 边界向量替代 O(N^2) 显式掩码，kernel 跳过全掩码 tile，可大幅降低显存和计算，适合用户长期行为序列的 Transformer 训练。
- 分布式 context parallel 下，掩码边界向量仅需做 clip–shift–max 变换即得到 rank-local 掩码，零跨卡通信；在电商/搜索推荐的多机训练中可直接复用，避免 mask 同步开销。
- 对稀疏 mask 导致的负载不均，借鉴 Hierarchical Compute-Communication IPO：先 IPO 做 compute balance，再 inter-node 交换降低 KV 通信量，最后 intra-node rebalance，在工程上可分层优化。
- 通信重叠可使用 NVSHMEM 对称内存 + 一端 RDMA + mask 驱动的 chunk 剪枝，减少约 50% all-gather/reduce-scatter 流量，提升 overlap 效率，适用于大规模分布式训练（如 LLM 驱动的搜索推荐）。
BRANCH-MoE：面向大规模嵌入模型的平衡感知树路由
🧭 MoE 树形路由与负载均衡 ★ 深度解读
Google Research · University of Southern California
提出将专家置于二叉树叶节点的BRANCH-MoE，用到达加权EMA锚点在没有辅助损失的情况下保持负载均衡并诱导共路由局部性
📌 工作参考价值（4 点）
- 在大规模 CTR/推荐模型中用 MoE 做稀疏专家时，可把 flat top-K 门控换成树形路由：每个内部节点用到达加权均值做 score 中心化（训练用 batch 均值，推理用 EMA），可省掉 auxiliary load-balancing loss 及其调参，同时降低子树饿死风险。
- 树路径天然给出专家二进制地址，可按 prefix 把专家/embedding 分配到设备或参数服务器域；推理时可依据上层 margin 预判是否跨域通信，降低 token 分发成本，适合多级缓存/分片的大规模稀疏 embedding 部署。
- 工程实现上：线性 node map 的树结构局部性最强（UCI 上树距离 0.71 vs 随机 0.817）；换成 MLP 会削弱局部性并提高 load CV，需在目标数据上验证。对输入特征要避免稀有二值列被 z-score 放大成巨大 spike，否则会诱导专家 collapse（Covertype 上需 pin 低方差列）。
- 该方法无辅助损失即可均衡负载，但 Criteo 上 load CV 高于 flat 方法（0.115 vs ≤0.006）；若业务对 per-batch 均衡极敏感，可能仍需要 capacity factor 或调度兜底。
分布鲁棒的混合专家训练
🧭 MoE训练 · 分布鲁棒优化 ★ 深度解读
New York University
提出DRMoET，将MoE专家作为内生DRO组，动态加权高损失路由结果，提升路由鲁棒性和下游性能
📌 工作参考价值（4 点）
- 在电商/广告的大规模MoE推荐模型中，可在现有负载均衡之外引入DRMoET式的专家级损失加权：用EMA平滑的激活加权损失动态调整每个专家的训练权重，无需修改前向路由，即可提升非热门专家在流量波动或分布偏移时的表现，降低线上指标抖动。
- 将「内生组DRO」思想迁移到多任务学习或用户分群：不依赖预定义分组，而是根据模型当前的路由/分配结果动态识别高损失子群，进行针对性加权，比固定分组更适应数据分布变化。
- 工程实现上，该方法只需维护每层专家数的EMA状态和权重（O(LE)标量），计算开销可忽略，且权重detach避免干扰主损失；可低成本部署到现有训练框架，作为对load-balancing的补充。
- 用forced misrouting probe（强制选择中位专家）评估模型对非最优路由的鲁棒性，可作为线上路由策略变更前的离线诊断工具。
精确分位数平衡与负载误差注入用于混合专家模型
🧭 MoE 训练负载均衡优化
Aleph Alpha
提出 EQB 精确全局分位数计算和 LEI 局部负载误差梯度注入，提升 MoE 训练平衡与质量
📌 工作参考价值（4 点）
- 若自研大规模 MoE 推荐/排序模型，可借鉴 EQB：用两次 256-bin all-reduce 的 BF16 radix selection 计算精确全局分位数，替代 rank-local 平均近似，消除数据划分偏差，通信开销可忽略。
- 局部负载均衡可尝试 LEI：把局部负载误差直接注入 router-score 梯度，替代 GShard 辅助 loss，在保证模型质量的同时改善 expert-parallel microbatch 级均衡，降低计算 skew。
- 训练 MoE 时将全局平衡与局部平衡解耦处理：仅全局平衡可能掩盖 microbatch 级偏斜，导致 EP 效率下降；应同时监控并优化两个层级。
- 对于已有 MoE 推理服务，若发现某些 expert 过载，可参考该工作的平衡机制思路，通过微调 router 偏差或梯度注入来优化负载分布。
PRIME：用插件式残差输入条件 MoE 缓解共享 CTR Top 网络中的子群优化竞争
🧭 CTR 预测 · 条件 MoE 残差插件 ★ 深度解读
Ant Group · Henan Polytechnic University · Independent Researcher · Alibaba Inc.
提出 Dense 锚定的低秩残差输入条件 MoE 插件，以零残差初始化保持原模型不变，缓解共享 Top-NN 子群梯度竞争并提升 CTR 精度
📌 工作参考价值（5 点）
- 用「锚定原预测 + 零残差初始化」给线上 CTR 模型加条件分支：训练起点与原模型完全一致，避免直接替换 Dense 路径带来的函数突变和上线风险，适合对已有精排模型做渐进式安全升级。
- 条件路由必须放在决策相关表征上：如果子群体差异在特征交叉后才出现，用 pre-cross embedding 路由会失效；建议按业务场景选择路由输入层（如中间 cross 层），并在不同骨架上做消融验证。
- 低秩专家 rank q=16 + 多 bag 平均（G=4）在很小参数/推理开销下获得中位数 AUC 提升；可作为多场景、多广告位精排模型的轻量条件化方案，避免复制完整 MLP。
- 负载均衡用 EMA 更新 router bias，不加 auxiliary loss，消除平衡系数调参和对主目标的干扰；该做法可直接复用到多目标/多场景 MoE。
- 用业务语义分组（站点、设备、时段）对比随机组梯度 cosine，可先诊断共享层是否存在子群竞争，再决定是否需要条件化改造。
内部放松，跨间平衡：视觉语言MoE的几何引导负载均衡
🧭 多模态MoE负载均衡优化
Peking University · Peng Cheng Laboratory · Qwen Team · Sun Yat-sen University
提出ReBA，通过模态分离与图像内放松路由，解决视觉语言MoE在不同token混合下的负载失衡
📌 工作参考价值（4 点）
- 多模态推荐模型中，图像/文本token数量随请求动态变化时，可借鉴ReBA对图像和文本分别计算负载均衡损失，避免跨模态误差抵消。
- 对于图像特征，按源图像分组，每个图像内均匀路由（Relax Within），能有效抑制分辨率变化导致的负载波动，适合电商商品图片处理。
- 利用“固定负载曲线”离线分析模型在不同token混合比例下的负载表现，提前预估推理瓶颈，指导工程部署资源分配。
- 实现轻量：只需在路由器添加模态标识和图像分组，不改变主干结构，易于在现有MoE推荐模型上试验。
SMetric: 面向Agent服务的均衡会话中心LLM调度
🧭 Agent 服务调度优化 · 会话中心负载均衡
Shanghai Jiao Tong University · Alibaba Group · ShanghaiTech University
利用Agent工作负载的会话内局部性，通过会话首请求负载均衡+后续请求缓存亲和路由，在不牺牲KV重用下实现高吞吐
📌 工作参考价值（4 点）
- 在电商/搜索Agent系统中，会话内多步请求KV重用率极高（>80%），可采用SMetric的调度策略：每个session的首次请求做简单轮询或最少连接调度实现负载均衡，后续请求固定路由到缓存了前缀KV的实例，兼顾吞吐与延迟。
- 若已有全局KV存储（如分布式缓存层），可将调度策略与缓存分层结合：本地实例缓存热数据，全局存储兜底，使负载均衡不再以完全牺牲重用为代价。
- 会话轮次信息可直接从请求中的session_id或轮次号提取，无需额外状态维护，调度器可保持无状态、易扩展，适合生产环境快速落地。
- 对于采用prefill-decode混部或disaggregation架构的大型Agent服务，该调度方法可提升整体吞吐10-30%，同时降低每token延迟，有效应对突发流量。
基于流形幂迭代重新设计 MoE 路由器
🧭 MoE 路由器设计 · 幂迭代对齐 ★ 深度解读
Renmin University of China · Tencent
让路由器行向量逼近对应专家权重的主奇异方向，以提升 MoE 路由质量
📌 工作参考价值（4 点）
- 路由器显式编码专家特征：在电商 Agent 多智能体或生成式推荐的 MoE 架构中，可直接替入 MPI，无需调整推理 pipeline。每步仅需一次幂迭代与 L2 归一化，零额外推理开销，能与现有负载均衡损失、z-loss 等兼容。
- 幂迭代替代正交化初始化：若业务中专家矩阵动态更新，可借鉴 MPI 的“Power-then-Retract”模板，用廉价矩阵乘实时跟踪主奇异方向，代替昂贵的 SVD 或静态正交初始化，使路由器持续对齐专家能力变化，尤其适合在线更新的场景。
- 常数 C 的缩放准则：论文给出的 C′ ≈ O(1/√N) 设计原则（C = C′/√N）可作为超参传递给不同专家数模型，在推荐系统扩容专家时降低调参成本，保障路由 logits 尺度稳定。
- 负载均衡意外收益：MPI 天然降低负载均衡损失，省去一部分复杂的平衡策略，可用于电商多业务专家流量的自动均衡，减少“专家失活”问题。
ϕ-均衡：面向混合专家训练的凸对偶负载均衡框架
🧭 MoE 训练 · 负载均衡 ★ 深度解读
University of Texas at Austin · Northwestern University
利用严格凸势函数与镜面下降，将 MoE 负载均衡从启发式 batch 统计提升为人口级凸优化，仅需 EMA 跟踪路由概率即实现更稳定均衡与专家专业化
📌 工作参考价值（4 点）
- 用 EMA 替代 batch 统计，消除负载均衡偏差：在电商推荐或 Agent 系统的 MoE 层中，可直接将 ST-MoE 损失中的 batch 频率 f_e 替换为 EMA 路由概率经镜面映射 ∇ϕ(m) 的加权，实现全局均衡，避免因小批次造成的不均匀分配，对长尾流量和冷启动专家更友好。
- 负熵势函数是简单有效的默认选择：实验证明负熵作为 ϕ 在各种规模与粒度下均最优，实现简单（L_aux = Σ p_e * (log m_e + 1)），且对 EMA 衰减率鲁棒（推荐 0.6–0.7），可直接替换现有负载均衡损失而无需额外调参。
- 促进专家专业化，适配多域推荐：ϕ-均衡允许路由根据全局分布动态分配专家，使不同专家自然专注于不同商品类目或行为模式，适合电商多场景联合建模（如搜索、推荐、广告），可尝试冻结部分专家实现领域隔离。
- 工程开销极小，易于集成：仅需在每个 MoE 层维护一份 EMA 向量并增加一步 stop_gradient 的 ∇ϕ 计算，额外算力可忽略，适合大规模分布式训练，能够无缝融入现有 DeepSpeed-MoE 等框架。